\section{Classification}
\subsection[Bayesienne]{Classification Bayesienne}

\renewcommand{\arraystretch}{1.7}
\begin{figure}[h]
\center
\begin{tabular}{|l||c|c|c|c|}
   \hline
   Échantillon test& \texttt{RGB1} & \texttt{RGB2} & \texttt{RGB3} & \texttt{RGB4} \\
   \hline\hline
   \texttt{RGB1\_V} & \textcolor{Orange}{0.5001} & 0.4999 & 0 & 0\\
   \hline
   \texttt{RGB2\_V} & 0.0019 & 0.2315 & 0 & \textcolor{red}{0.7666}\\
   \hline   
   \texttt{RGB3\_V} & 0.0633 & 0.0239 & \textcolor{green}{0.9100} & 0.0029\\
   \hline
   \texttt{RGB4\_V} & 0.0017 & 0.0715 & 0 & \textcolor{green}{0.9269}\\
   \hline
\end{tabular}
\caption{Test d'un échantillon parmis quatre classes \texttt{RGB}}
\label{tab_1v4}
\end{figure}

Les résultat ci-dessus sont fait en faisant entrainant un classifieur \textit{Bayésien} avec les classes \textit{rgb\_1}, \textit{rgb\_2}, \textit{rgb\_3} et \textit{rgb\_4}.\\
On met ensuite en entrée de ce classifieur une classe test.\\
En testant la classe une, le classifieur nous renvoie une appartenance d'environ 50\% à la classe \textit{rgb\_1} et 50\% à la classe \textit{rgb\_2}. Il y a donc 50\% d'erreur.\\
Lorsque l'on teste avec la classe \textit{rgb\_2}, le classifieur renvoie une appartenance d'environ 0.2\% à la classe \textit{rgb\_1}, de 23.15\% à la classe \textit{rgb\_2} et de 76.66\% à la classe \textit{rgb\_4}. Il y à donc près de 77\% d'erreurs.\\
En analysant les réponse du classifieur lorsque l'on met en entrée la classe test 3, on se rend compte qu'il y a 91\% des échantillon correctement distribués.\\
Enfin, en mettant en entrée la classe test 4, il y a plus de 92\% de bonne réponses.\\


\renewcommand{\arraystretch}{1.2}
\begin{figure}[h]
\center
\begin{tabular}{|l||c|c|c|c|}
   \hline
   Échantillon test& \texttt{RGB1} & \texttt{RGB2} & \texttt{RGB3} & \texttt{RGB4} \\
   \hline\hline
   \texttt{RGB1\_V} & \textcolor{Orange}{0.5001} & 0.4999 &  & \\
   \texttt{RGB2\_V} & 0.0019 & \textcolor{green}{0.9981} &  & \\
   \hline
   \texttt{RGB1\_V} & \textcolor{green}{0.9991} &  & 0.0009 & \\
   \texttt{RGB3\_V} & 0.0857 &  & \textcolor{green}{0.9143} & \\
   \hline   
   \texttt{RGB1\_V} & \textcolor{green}{0.9718} &  &  & 0.0282\\
   \texttt{RGB4\_V} & 0.0063 &  &  & \textcolor{green}{0.9937}\\
   \hline
   \texttt{RGB2\_V} & & \textcolor{green}{1} & 0 & \\
   \texttt{RGB3\_V} & & 0.0353 & \textcolor{green}{0.9647} & \\
   \hline
   \texttt{RGB2\_V} & & 0.2334 & & \textcolor{red}{0.7666}\\
   \texttt{RGB4\_V} & & 0.0731 & & \textcolor{green}{0.9269}\\
   \hline
   \texttt{RGB3\_V} & & & \textcolor{green}{0.9846} & 0.0155\\
   \texttt{RGB4\_V} & & & 0 & \textcolor{green}{1}\\
   \hline
\end{tabular}
\caption{Test d'un échantillon parmis deux classes \texttt{RGB}}
\label{tab_1v2}
\end{figure}

\newpage

\noindent Le tableau ci-dessus met en scène les résultats d'un classifieur \textit{Bayésien} entrainé avec deux classes, et testant l'appartenance des échantillon d'une troisième classe test.\\
Le classifieur entrainé avec \textit{rgb\_1} et \textit{rgb\_2} renvoie 50\% de mauvaises réponses lorsque la classe test appartient à \textit{rgb\_1} et plus de 99.8\% de bonnes réponses lorsque cette classe test appartient à la classe \textit{rgb\_2}.\\
En faisant un apprentissage avec les classe \textit{rgb\_1} et \textit{rgb\_3}, on obtient plus de 99,9\% (resp 91\%) de bonnes réponses lorsque la classe test appartient à \textit{rgb\_1} (resp \textit{rgb\_3}).\\
En faisant un apprentissage avec les classe \textit{rgb\_1} et \textit{rgb\_4}, on obtient plus de 97\% (resp 99\%) de bonnes réponses lorsque la classe test appartient à \textit{rgb\_1} (resp \textit{rgb\_4}).\\
Lorsque les classes d'apprentissage sont les classes \textit{rgb\_2} et \textit{rgb\_3}, avec en classe test la classe test 2 (resp classe test 3), on obtient 100\% (resp 96.47\%) de bonnes réponses.\\
Les résultats obtenus avec en apprentissage les classes tests \textit{rgb\_3} et \textit{rgb\_4}, on obtient entre 98\% et 100\% de bonnes réponses.\\
Il y a cependant un problème lorsque l'on confronte les classes \textit{rgb\_2} et \textit{rgb\_4}. En effet, même si la seconde classe de test, qui appartient à la classe \textit{rgb\_4} est bien classifiée à plus de 92\%, la première classe de test, sensée appartenir à \textit{rgb\_2}, est mal classée à plus de 76\%.

\subsection[Bayesienne avec ACP]{Classification Bayesienne avec ACP}

\noindent Nous avons essayé de faire une \texttt{ACP} des données, tout en passant d'une classe de dimension 3 vers une classe de dimension 2 grâce la méthode \emph{pca(X, new\_dim)}. Le tableau \ref{tab_1v2_pca_2} donne la répartition d'un échantillon vérité par rapport à deux classes d'apprentissage suivant une classification \emph{bayesienne}.


\begin{figure}[h!]
\renewcommand{\arraystretch}{1.2}
\center
\begin{tabular}{|l||c|c|c|c|}
   \hline
   Échantillon test& \texttt{RGB1} & \texttt{RGB2} & \texttt{RGB3} & \texttt{RGB4} \\
   \hline\hline
   \texttt{RGB1\_V} & 0.0061 & \textcolor{red}{0.9938} &  & \\
   \texttt{RGB2\_V} & 0 & \textcolor{green}{1} &  & \\
   \hline
   \texttt{RGB1\_V} & \textcolor{green}{1} & & 0 & \\
   \texttt{RGB3\_V} & 0.2385 & & \textcolor{green}{0.7614} & \\
   \hline   
   \texttt{RGB1\_V} & 0.0310 & & & \textcolor{red}{0.9689} \\
   \texttt{RGB4\_V} & 0.0144 & & & \textcolor{green}{0.9856} \\
   \hline
   \texttt{RGB2\_V} & & \textcolor{green}{1} & 0 & \\
   \texttt{RGB3\_V} & & 0.1116 & \textcolor{green}{0.8883} & \\
   \hline
   \texttt{RGB2\_V} & & 0.1238 & & \textcolor{red}{0.8761}\\
   \texttt{RGB4\_V} & & 0.0739 & & \textcolor{green}{0.9261}\\
   \hline
   \texttt{RGB3\_V} & & & \textcolor{green}{0.8855} & 0.1145\\
   \texttt{RGB4\_V} & & & 0 & \textcolor{green}{1}\\
   \hline
\end{tabular}
\caption{Test d'un échantillon avec deux classes \texttt{RGB} après ACP vers deux dimensions}
\label{tab_1v2_pca_2}
\end{figure}


\noindent La tableau ci-dessus présente les résultats de répartition du classe test donnée en entrée d'un classifieur crée avec deux classes d'apprentissage.\\
On s'apercoit qu'il y à près de 100\% d'erreurs lorsque l'on teste la classe test 1 avec un classifieur généré avec les classes d'apprentissage \textit{rgb\_1} et \textit{rgb\_2}.\\
De la même manière, il y à de grosses erreurs avec en apprentissage \textit{rgb\_1} et \textit{rgb\_4} et en classe test la classe test 1, et également de grosse erreurs avec en apprentissage les classes \textit{rgb\_2} et \textit{rgb\_4} et en test la classe test \textit{rgb\_2}.\\
Les résultats des tests après cette \texttt{ACP} n'étant pas concluant, nous avons décidé  d'exclure de la suite de nos tests la réduction de 3 vers 2 dimensions via \textit{ACP}.


\renewcommand{\arraystretch}{1.2}
\begin{figure}[h]
\center
\begin{tabular}{|l||c|c|c|c|}
   \hline
   Échantillon test& \texttt{RGB1} & \texttt{RGB2} & \texttt{RGB3} & \texttt{RGB4} \\
   \hline\hline
   \texttt{RGB1\_V} & \textcolor{Orange}{0.5001} & 0.4999 &  & \\
   \texttt{RGB2\_V} & 0.0019 & \textcolor{green}{0.9981} &  & \\
   \hline
   \texttt{RGB1\_V} & \textcolor{green}{0.9991} &  & 0.0009 & \\
   \texttt{RGB3\_V} & 0.0857 &  & \textcolor{green}{0.9143} & \\
   \hline   
   \texttt{RGB1\_V} & \textcolor{green}{0.9718} &  &  & 0.0282\\
   \texttt{RGB4\_V} & 0.0063 &  &  & \textcolor{green}{0.9937}\\
   \hline
   \texttt{RGB2\_V} & & \textcolor{green}{1} & 0 & \\
   \texttt{RGB3\_V} & & 0.0353 & \textcolor{green}{0.9647} & \\
   \hline
   \texttt{RGB2\_V} & & 0.2334 & & \textcolor{red}{0.7666}\\
   \texttt{RGB4\_V} & & 0.0731 & & \textcolor{green}{0.9269}\\
   \hline
   \texttt{RGB3\_V} & & & \textcolor{green}{0.9846} & 0.0155\\
   \texttt{RGB4\_V} & & & 0 & \textcolor{green}{1}\\
   \hline
\end{tabular}
\caption{Test d'un échantillon avec deux classes \texttt{RGB} après ACP vers trois dimensions}
\label{tab_1v2_pca_3}
\end{figure}


\noindent Suite aux tests de classifications bayésienne après \textit{ACP}, nous pouvons constater que l'ensemble des résultats sont soit identique, soit moins bon que sans utilisation de \textit{ACP}.\\
Nous avons donc décidé de ne pas l'utiliser pour la suite de nos tests.



\subsection[Bayesienne avec Fisher]{Classification Bayesienne avec Fisher}
\renewcommand{\arraystretch}{1.2}
\begin{figure}[h]
\center
\begin{tabular}{|l||c|c|c|c|}
   \hline
   Échantillon test& \texttt{RGB1} & \texttt{RGB2} & \texttt{RGB3} & \texttt{RGB4} \\
   \hline\hline
   \texttt{RGB1\_V} & \textcolor{green}{1} & 0 &  & \\
   \texttt{RGB2\_V} & 0.0818 & \textcolor{green}{0.9181} &  & \\
   \hline
   \texttt{RGB1\_V} & \textcolor{green}{1} & & 0 & \\
   \texttt{RGB3\_V} & 0.1187 & & \textcolor{green}{0.8813} & \\
   \hline   
   \texttt{RGB1\_V} & \textcolor{green}{1} & & & 0 \\
   \texttt{RGB4\_V} & 0.0213 & & & \textcolor{green}{0.9787} \\
   \hline
   \texttt{RGB2\_V} & & \textcolor{green}{1} & 0 & \\
   \texttt{RGB3\_V} & & 0.0170 & \textcolor{green}{0.9829} & \\
   \hline
   \texttt{RGB2\_V} & & 0 & & \textcolor{red}{1}\\
   \texttt{RGB4\_V} & & 0.0213 & & \textcolor{green}{0.9786}\\
   \hline
   \texttt{RGB3\_V} & & & \textcolor{green}{0.9933} & 0.0067\\
   \texttt{RGB4\_V} & & & 0.0002 & \textcolor{green}{0.9998}\\
   \hline
\end{tabular}
\caption{Test d'un échantillon avec deux classes \texttt{RGB} après Fisher puis classification Bayesienne}
\label{tab_1v2_fisher_bayse_2}
\end{figure}

\newpage

Le tableau ci-dessus est une représentation des résultats de classification obtenu avec un bayesien généré avec deux classes d'apprentissage et une classe de test, après utilisation de \textit{Fisher}.\\
Il en ressort que, hormis une classe test, l'ensemble des classe test sont à plus de 88\% bien classifiée (dont 9 sur 11 à plus de 97\%).\\
D'après les tests effectués, une classification Bayesienne après réduction de dimension grâce à \texttt{Fisher} donne de bon résultats. En testant les classes d'apprentissage deux à deux avec un echantillon vérité, en faisant une moyenne des classification, et en supprimant ce que nous estimons être du bruit (échantillon test \texttt{RGB2\_V} entre \texttt{RGB2} et \texttt{RGB4}) nous obtenons un succès de classification de 97.57\%.


\subsection[Linéaire avec Fisher]{Classification linéaire avec Fisher}
\begin{figure}[h]
\center
\begin{tabular}{|l||c|c|c|c|}
   \hline
   Échantillon test& \texttt{RGB1} & \texttt{RGB2} & \texttt{RGB3} & \texttt{RGB4} \\
   \hline\hline
   \texttt{RGB1\_V} & \textcolor{green}{1} & 0 &  & \\
   \texttt{RGB2\_V} & 0.3282 & \textcolor{green}{0.6718} &  & \\
   \hline
   \texttt{RGB1\_V} & \textcolor{green}{1} & & 0 & \\
   \texttt{RGB3\_V} & 0.1243 & & \textcolor{green}{0.8757} & \\
   \hline   
   \texttt{RGB1\_V} & \textcolor{green}{1} & & & 0 \\
   \texttt{RGB4\_V} & 0.0372 & & & \textcolor{green}{0.9627} \\
   \hline
   \texttt{RGB2\_V} & & \textcolor{green}{0.9832} & 0.0167 & \\
   \texttt{RGB3\_V} & & 0.0088 & \textcolor{green}{0.9912} & \\
   \hline
   \texttt{RGB2\_V} & & 0 & & \textcolor{red}{1}\\
   \texttt{RGB4\_V} & & 0.0095 & & \textcolor{green}{0.9905} \\
   \hline
   \texttt{RGB3\_V} & & & \textcolor{green}{0.9953} & 0.0047 \\
   \texttt{RGB4\_V} & & & 0.0019 & \textcolor{green}{0.9981} \\
   \hline
\end{tabular}
\caption{Test d'un échantillon avec deux classes \texttt{RGB} après Fisher puis classification lineaire}
\label{tab_1v2_fisher_linear_2}
\end{figure}

\noindent Le tableau ci-dessus représente les résultats de classification d'une classe passée en entrée d'un classifieur \textit{linéaire} ayant appris avec deux classes ayant subis une réduction par \textit{Fisher}.\\
L'ensemble des résultats sont soient équivalent, soit moins bon qu'une classification \textit{Bayésienne} avec \textit{Fisher}.\\
La méthode de réduction par \texttt{Fisher} (cf. \ref{tab_1v2_fisher_linear_2}) suivi d'une classification linéaire (méthode \emph{linclass} de \texttt{stprtool}) nous donne une moyenne de classification entre deux classes de 95.17\% (toujours en considérant que l'échantillon test \texttt{RGB2\_V} entre \texttt{RGB2} et \texttt{RGB4} retourne du bruit).

\newpage
\input{subParts/perceptron}

\input{subParts/svm}

\input{subParts/knn}

